Color Transfer and Colorization based on Textural Properties

This paper targets two related color manipulation problems: Color transfer for modifying an image colors and colorization for adding colors to a greyscale image. Automatic methods for these two applications propose to modify the input image using a reference that contains the desired colors. Previous approaches usually do not target both applications and su er from two main limitations: possible misleading associations between input and reference regions and poor spatial coherence around image structures. In this paper, we propose a uni ed framework that uses the textural content of the images to guide the color transfer and colorization. Our method introduces an edge-aware texture descriptor based on region covariance, allowing for local color transformations. We show that our approach is able to produce results comparable or better than state-of-the-art methods in both applications. Key-words: Color transfer, colorization, textures ∗ Inria-LJK (UGA, CNRS) † Polytechnique Montréal Transfert de couleurs et colorisation basés sur des propriétés texturelles Résumé : Cet article se concentre sur deux problèmes de manipulation de couleurs liés : le transfert de couleurs qui modi e les couleurs d'une image, et la colorisation qui ajoute des couleurs à une image en niveaux de gris. Les méthodes automatiques pour ces deux applications modi ent l'image d'entrée à l'aide d'une image de référence contenant les couleurs désirées. Les approches précédentes visent rarement les deux problèmes simultanement et sou rent de deux principales limitations : les correspondances créées entre les images d'entrée et de référence sont incorrectes ou approximatives, et une mauvaise cohérence spatiale autour des structures de l'image. Dans cet article, nous proposons un pipeline uni ant les deux problèmes, basé sur le contenu texturel des images pour guider le transfert ou la colorisation. Notre méthode introduit un descripteur de textures préservant les contours de l'image, basé sur des matrices de covariance, permettant d'appliquer des transformations de couleurs locales. Nous montrons que notre approche est capable de produire des résultats comparables ou meilleurs que d'autres méthodes de l'état de l'art dans les deux applications. Mots-clés : Transfert de couleurs, colorisation, textures Color Transfer and Colorization based on Textural Properties 3